语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
经过一段时间的减少，对单词一致性的兴趣再次增加，因为它们在类型学研究，跨语言注释投影和机器翻译等领域的有用性中再次增加。通常，对齐算法仅使用bitext，并且不利用许多平行语料库是多面关系的事实。在这里，我们通过考虑所有语言对，计算多种语言对之间的高质量单词对齐。首先，我们创建一个多平行单词对齐图，并将所有双语单词对齐对在一个图中。接下来，我们使用图形神经网络（GNN）来利用图形结构。我们的GNN方法（i）利用有关输入词的含义，位置和语言的信息，（ii）合并了来自多个并行句子的信息，（iii）添加并删除了初始对齐的边缘，并且（iv）产生了预测可以概括训练句子的模型。我们表明，社区检测为多平行单词对齐提供了有价值的信息。我们的方法在三个单词分配数据集和下游任务上的先前工作优于先前的工作。
translated by 谷歌翻译
全球地球观察（EO）的运营能力不断增长为数据驱动的方法创造了新的机会，以理解和保护我们的星球。但是，由于巨大的档案尺寸和EO平台提供的有限的勘探功能，目前使用EO档案的使用受到了极大的限制。为了解决这一限制，我们最近提出了米兰，这是一种基于内容的图像检索方法，用于在卫星图像档案中快速相似性搜索。米兰是基于公制学习的深层哈希网络，将高维图像特征编码为紧凑的二进制哈希码。我们将这些代码用作哈希表中的钥匙，以实现实时邻居搜索和高度准确的检索。在此演示中，我们通过将米兰与Agoraeo内的浏览器和搜索引擎集成在一起来展示米兰的效率。地震支持卫星图像存储库上的交互式视觉探索和典型查询。演示访问者将与地震互动，扮演不同用户的角色，这些用户的角色通过其语义内容搜索图像，并通过其语义内容搜索并应用其他过滤器。
translated by 谷歌翻译
由于其在广泛的协作学习任务中的成功，联邦学习框架的普及程度越来越多，也引起了有关学习模型的某些安全问题，因为恶意客户可能参与学习过程。因此，目的是消除恶意参与者的影响，并确保最终模型是可信赖的。关于拜占庭攻击的一个常见观察结果是，客户的模型/更新之间的差异越高，隐藏攻击的空间就越多。为此，最近已经表明，通过利用动量，从而减少了方差，可以削弱已知的拜占庭攻击的强度。居中的剪裁框架（ICML 2021）进一步表明，除了降低差异外，从上一个迭代中的动量项可以用作中和拜占庭式攻击并显示出对知名攻击的令人印象深刻的表现。但是，在这项工作的范围内，我们表明居中的剪裁框架具有某些漏洞，并且可以根据这些漏洞来修订现有的攻击，以规避居中的剪裁防御。因此，我们介绍了一种设计攻击的策略，以规避居中的剪裁框架，并通过将测试准确性降低到最佳场景中的5-40，从而在数值上说明了其针对中心剪裁的有效性以及其他已知的防御策略。
translated by 谷歌翻译
我们根据原型学习规则研究了非参数多类分类设置中的误差与压缩之间的紧密相互作用。我们特别关注最近提出的基于压缩的学习规则的紧密变体。除了其计算优点外，最近在任何承认普遍一致的规则的公制实例空间中，该规则在普遍的一致性上是普遍一致的，这是享受此属性的第一个学习算法。但是，其误差和压缩率已经打开。在这里，我们得出这样的速率，如果实例在欧几里得空间中存在于数据分布上的平滑度和尾部条件下。我们首先表明OptInet在享受最小的最小错误率的同时，达到了非平凡的压缩率。然后，我们继续研究一种新型的通用压缩方案，以进一步压缩原型规则，该规则在不牺牲准确性的情况下局部适应噪声水平。将其应用于OptInet，我们表明在几何边缘条件下，可以实现压缩率的进一步增益。提出了比较各种方法的性能的实验结果。
translated by 谷歌翻译
随着无线标准的发展，引入了更复杂的功能，以解决吞吐量，延迟，安全性和效率方面的增加。为了释放此类新功能的潜力，目前正在利用人工智能（AI）和机器学习（ML）（ML）来从数据中得出模型和协议，而不是通过手工编程。在本文中，我们探讨了将ML应用于下一代无线局域网（WLAN）的可行性。更具体地说，我们专注于IEEE 802.11AX空间重用（SR）问题，并通过联合学习（FL）模型来预测其性能。在这项工作中概述的FL解决方案集是2021年国际电信联盟（ITU）AI的5G挑战赛的一部分。
translated by 谷歌翻译
遥感（RS）图像的多标签分类（MLC）的准确方法的开发是RS中最重要的研究主题之一。基于深度卷积神经网络（CNNS）的方法显示了RS MLC问题的强劲性能。然而，基于CNN的方法通常需要多个陆地覆盖类标签注释的大量可靠的训练图像。收集这些数据是耗时和昂贵的。为了解决这个问题，可包括嘈杂标签的公开专题产品可用于向RS零标记成本注释RS图像。但是，多标签噪声（可能与错误且缺少标签注释相关）可以扭曲MLC算法的学习过程。标签噪声的检测和校正是具有挑战性的任务，尤其是在多标签场景中，其中每个图像可以与多于一个标签相关联。为了解决这个问题，我们提出了一种新的噪声稳健协作多标签学习（RCML）方法，以减轻CNN模型训练期间多标签噪声的不利影响。 RCML在基于三个主模块的RS图像中识别，排名和排除噪声多标签：1）差异模块; 2）组套索模块; 3）交换模块。差异模块确保两个网络了解不同的功能，同时产生相同的预测。组套索模块的任务是检测分配给多标记训练图像的潜在嘈杂的标签，而交换模块任务致力于在两个网络之间交换排名信息。与现有的方法不同，我们提出了关于噪声分布的假设，我们所提出的RCML不会在训练集中的噪声类型之前进行任何先前的假设。我们的代码在线公开提供：http：//www.noisy-labels-in-rs.org
translated by 谷歌翻译
我们考虑优化从高斯过程（GP）采样的矢量值的目标函数$ \ boldsymbol {f} $ sampled的问题，其索引集是良好的，紧凑的度量空间$（{\ cal x}，d）$设计。我们假设$ \ boldsymbol {f} $之前未知，并且在Design $ x $的$ \ \ boldsymbol {f} $ x $导致$ \ boldsymbol {f}（x）$。由于当$ {\ cal x} $很大的基数时，识别通过详尽搜索的帕累托最优设计是不可行的，因此我们提出了一种称为Adaptive $ \ Boldsymbol {\ epsilon} $ - PAL的算法，从而利用GP的平滑度-Ampled函数和$（{\ cal x}，d）$的结构快速学习。从本质上讲，Adaptive $ \ Boldsymbol {\ epsilon} $ - PAL采用基于树的自适应离散化技术，以识别$ \ Boldsymbol {\ epsilon} $ - 尽可能少的评估中的准确帕累托一组设计。我们在$ \ boldsymbol {\ epsilon} $ - 准确的Pareto Set识别上提供信息类型和度量尺寸类型界限。我们还在实验表明我们的算法在多个基准数据集上优于其他Pareto Set识别方法。
translated by 谷歌翻译